<!DOCTYPE html><html class="hide-aside" lang="zh-CN" data-theme="light"><head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no"><title>深度神经网络在大规模空间预测中的应用 | 西山晴雪的知识笔记</title><meta name="keywords" content="深度学习,空间统计"><meta name="author" content="西山晴雪"><meta name="copyright" content="西山晴雪"><meta name="format-detection" content="telephone=no"><meta name="theme-color" content="#ffffff"><meta name="description" content="深度神经网络在大规模空间预测中的应用">
<meta property="og:type" content="article">
<meta property="og:title" content="深度神经网络在大规模空间预测中的应用">
<meta property="og:url" content="http://xishansnow.github.io/posts/4a5216eb.html">
<meta property="og:site_name" content="西山晴雪的知识笔记">
<meta property="og:description" content="深度神经网络在大规模空间预测中的应用">
<meta property="og:locale" content="zh_CN">
<meta property="og:image" content="http://xishansnow.github.io/img/coffe_07.png">
<meta property="article:published_time" content="2023-02-09T02:00:00.000Z">
<meta property="article:modified_time" content="2023-02-16T04:08:51.094Z">
<meta property="article:author" content="西山晴雪">
<meta property="article:tag" content="深度学习">
<meta property="article:tag" content="空间统计">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="http://xishansnow.github.io/img/coffe_07.png"><link rel="shortcut icon" href="/img/favi.jpg"><link rel="canonical" href="http://xishansnow.github.io/posts/4a5216eb"><link rel="preconnect" href="//cdn.jsdelivr.net"/><link rel="stylesheet" href="/css/index.css"><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/@fortawesome/fontawesome-free/css/all.min.css" media="print" onload="this.media='all'"><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/@fancyapps/ui/dist/fancybox.min.css" media="print" onload="this.media='all'"><script>const GLOBAL_CONFIG = { 
  root: '/',
  algolia: {"appId":"12DC1Q07CH","apiKey":"7e4ac2a644127298a8a2e8170335afdb","indexName":"xishansnowblog","hits":{"per_page":6},"languages":{"input_placeholder":"搜索文章","hits_empty":"找不到您查询的内容：${query}","hits_stats":"找到 ${hits} 条结果，用时 ${time} 毫秒"}},
  localSearch: undefined,
  translate: {"defaultEncoding":2,"translateDelay":0,"msgToTraditionalChinese":"繁","msgToSimplifiedChinese":"簡"},
  noticeOutdate: undefined,
  highlight: {"plugin":"highlighjs","highlightCopy":true,"highlightLang":true,"highlightHeightLimit":200},
  copy: {
    success: '复制成功',
    error: '复制错误',
    noSupport: '浏览器不支持'
  },
  relativeDate: {
    homepage: false,
    post: false
  },
  runtime: '',
  date_suffix: {
    just: '刚刚',
    min: '分钟前',
    hour: '小时前',
    day: '天前',
    month: '个月前'
  },
  copyright: undefined,
  lightbox: 'fancybox',
  Snackbar: undefined,
  source: {
    justifiedGallery: {
      js: 'https://cdn.jsdelivr.net/npm/flickr-justified-gallery/dist/fjGallery.min.js',
      css: 'https://cdn.jsdelivr.net/npm/flickr-justified-gallery/dist/fjGallery.min.css'
    }
  },
  isPhotoFigcaption: false,
  islazyload: false,
  isAnchor: false
}</script><script id="config-diff">var GLOBAL_CONFIG_SITE = {
  title: '深度神经网络在大规模空间预测中的应用',
  isPost: true,
  isHome: false,
  isHighlightShrink: false,
  isToc: true,
  postUpdate: '2023-02-16 12:08:51'
}</script><noscript><style type="text/css">
  #nav {
    opacity: 1
  }
  .justified-gallery img {
    opacity: 1
  }

  #recent-posts time,
  #post-meta time {
    display: inline !important
  }
</style></noscript><script>(win=>{
    win.saveToLocal = {
      set: function setWithExpiry(key, value, ttl) {
        if (ttl === 0) return
        const now = new Date()
        const expiryDay = ttl * 86400000
        const item = {
          value: value,
          expiry: now.getTime() + expiryDay,
        }
        localStorage.setItem(key, JSON.stringify(item))
      },

      get: function getWithExpiry(key) {
        const itemStr = localStorage.getItem(key)

        if (!itemStr) {
          return undefined
        }
        const item = JSON.parse(itemStr)
        const now = new Date()

        if (now.getTime() > item.expiry) {
          localStorage.removeItem(key)
          return undefined
        }
        return item.value
      }
    }
  
    win.getScript = url => new Promise((resolve, reject) => {
      const script = document.createElement('script')
      script.src = url
      script.async = true
      script.onerror = reject
      script.onload = script.onreadystatechange = function() {
        const loadState = this.readyState
        if (loadState && loadState !== 'loaded' && loadState !== 'complete') return
        script.onload = script.onreadystatechange = null
        resolve()
      }
      document.head.appendChild(script)
    })
  
      win.activateDarkMode = function () {
        document.documentElement.setAttribute('data-theme', 'dark')
        if (document.querySelector('meta[name="theme-color"]') !== null) {
          document.querySelector('meta[name="theme-color"]').setAttribute('content', '#0d0d0d')
        }
      }
      win.activateLightMode = function () {
        document.documentElement.setAttribute('data-theme', 'light')
        if (document.querySelector('meta[name="theme-color"]') !== null) {
          document.querySelector('meta[name="theme-color"]').setAttribute('content', '#ffffff')
        }
      }
      const t = saveToLocal.get('theme')
    
          if (t === 'dark') activateDarkMode()
          else if (t === 'light') activateLightMode()
        
      const asideStatus = saveToLocal.get('aside-status')
      if (asideStatus !== undefined) {
        if (asideStatus === 'hide') {
          document.documentElement.classList.add('hide-aside')
        } else {
          document.documentElement.classList.remove('hide-aside')
        }
      }
    
    const detectApple = () => {
      if(/iPad|iPhone|iPod|Macintosh/.test(navigator.userAgent)){
        document.documentElement.classList.add('apple')
      }
    }
    detectApple()
    })(window)</script><link rel="stylesheet" href="/css/custom.css"><script defer src="https://cdn.jsdelivr.net/npm/katex@0.16.3/dist/contrib/auto-render.min.js" integrity="sha384-+VBxd3r6XgURycqtZ117nYw44OOcIax56Z4dCRWbxyPt0Koah1uHoK0o4+/RRE05" crossorigin="anonymous" onload="renderMathInElement(document.body);"></script><meta name="generator" content="Hexo 5.4.2"></head><body><div id="loading-box"><div class="loading-left-bg"></div><div class="loading-right-bg"></div><div class="spinner-box"><div class="configure-border-1"><div class="configure-core"></div></div><div class="configure-border-2"><div class="configure-core"></div></div><div class="loading-word">加载中...</div></div></div><div id="sidebar"><div id="menu-mask"></div><div id="sidebar-menus"><div class="avatar-img is-center"><img src="/img/favi.jpg" onerror="onerror=null;src='/img/friend_404.gif'" alt="avatar"/></div><div class="sidebar-site-data site-data is-center"><a href="/archives/"><div class="headline">文章</div><div class="length-num">306</div></a><a href="/tags/"><div class="headline">标签</div><div class="length-num">390</div></a><a href="/categories/"><div class="headline">分类</div><div class="length-num">89</div></a></div><hr/><div class="menus_items"><div class="menus_item"><a class="site-page" href="/"><i class="fa-fw fas fa-home"></i><span> 主页</span></a></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-atom"></i><span> 预测</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E5%B9%BF%E4%B9%89%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-atom"></i><span> 广义线性模型</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E9%9D%9E%E5%8F%82%E6%95%B0%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-cogs"></i><span> 传统非参数模型</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B/"><i class="fa-fw fas fa-school"></i><span> 高斯过程</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fas fa-layer-group"></i><span> 神经网络</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9%E4%B8%8E%E5%B9%B3%E5%9D%87/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 模型选择与平均</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E5%B0%8F%E6%A0%B7%E6%9C%AC%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-solid fa-globe"></i><span> 小样本学习</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-file-export"></i><span> 生成</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E4%BC%A0%E7%BB%9F%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 传统概率图模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E7%8E%BB%E5%B0%94%E5%85%B9%E6%9B%BC%E6%9C%BA/"><i class="fa-fw fa-solid fa-deezer"></i><span> 玻耳兹曼机</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 变分自编码器</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E8%87%AA%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 自回归模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E5%BD%92%E4%B8%80%E5%8C%96%E6%B5%81/"><i class="fa-fw fa-solid fa-cube"></i><span> 归一化流</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E6%89%A9%E6%95%A3%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-ghost"></i><span> 扩散模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E8%83%BD%E9%87%8F%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 能量模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E7%94%9F%E6%88%90%E5%BC%8F%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-solid fa-globe"></i><span> 生成式对抗网络</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-magnet"></i><span> 挖掘</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%9A%90%E5%9B%A0%E5%AD%90%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 隐因子模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E7%8A%B6%E6%80%81%E7%A9%BA%E9%97%B4%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-deezer"></i><span> 状态空间模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E6%A6%82%E7%8E%87%E5%9B%BE%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 概率图学习</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%9D%9E%E5%8F%82%E6%95%B0%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 非参数贝叶斯模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E8%A1%A8%E7%A4%BA%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-solid fa-cube"></i><span> 表示学习</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/"><i class="fa-fw fa-solid fa-ghost"></i><span> 可解释性</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%99%8D%E7%BB%B4/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 降维</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E8%81%9A%E7%B1%BB/"><i class="fa-fw fa-solid fa-cogs"></i><span> 聚类</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-compass"></i><span> 贝叶斯</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 概率图模型</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%92%99%E7%89%B9%E5%8D%A1%E6%B4%9B%E6%8E%A8%E6%96%AD/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 蒙特卡罗推断</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E5%8F%98%E5%88%86%E6%8E%A8%E6%96%AD/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 变分推断</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%BF%91%E4%BC%BC%E8%B4%9D%E5%8F%B6%E6%96%AF%E8%AE%A1%E7%AE%97/"><i class="fa-fw fa-solid fa-cube"></i><span> 近似贝叶斯计算</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A8%A1%E5%9E%8B%E6%AF%94%E8%BE%83%E4%B8%8E%E9%80%89%E6%8B%A9/"><i class="fa-fw fa-solid fa-ghost"></i><span> 模型比较与选择</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%B4%9D%E5%8F%B6%E6%96%AF%E4%BC%98%E5%8C%96/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 贝叶斯优化</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-ghost"></i><span> 不确定性DL</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/BayesNN/%E6%A6%82%E8%A7%88"><i class="fa-fw fa-solid fa-cube"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E5%8D%95%E4%B8%80%E7%A1%AE%E5%AE%9A%E6%80%A7%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 单一确定性神经网络</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-brands fa-deezer"></i><span> 贝叶斯神经网络</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E6%B7%B1%E5%BA%A6%E9%9B%86%E6%88%90/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 深度集成</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E6%95%B0%E6%8D%AE%E5%A2%9E%E5%BC%BA/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 数据增强</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E5%AF%B9%E6%AF%94%E4%B8%8E%E8%AF%84%E6%B5%8B/"><i class="fa-fw fa-brands fa-deezer"></i><span> 对比与评测</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-map"></i><span> 空间统计</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/GeoAI/%E7%BB%BC%E8%BF%B0%E7%B1%BB/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%82%B9%E5%8F%82%E8%80%83%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-solid fa-map"></i><span> 点参考数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E9%9D%A2%E5%85%83%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 面元数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%82%B9%E6%A8%A1%E5%BC%8F%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 点模式数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%96%B9%E6%B3%95/"><i class="fa-fw fa-solid fa-cube"></i><span> 空间贝叶斯方法</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E5%8F%98%E7%B3%BB%E6%95%B0%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-ghost"></i><span> 空间变系数模型</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E7%BB%9F%E8%AE%A1%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-brands fa-deezer"></i><span> 空间统计深度学习</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E6%97%B6%E7%A9%BA%E7%BB%9F%E8%AE%A1%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-atlas"></i><span> 时空统计模型</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B8%93%E9%A2%98/"><i class="fa-fw fa fa-anchor"></i><span> 大数据专题</span></a></li><li><a class="site-page child" href="/categories/GeoAI/GeoAI/"><i class="fa-fw fa-brands fa-codepen"></i><span> GeoAI</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-database"></i><span> 基础</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E9%AB%98%E7%AD%89%E6%95%B0%E5%AD%A6/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 高等数学</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E6%A6%82%E7%8E%87%E4%B8%8E%E7%BB%9F%E8%AE%A1/"><i class="fa-fw fa-brands fa-deezer"></i><span> 概率与统计</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E7%BA%BF%E4%BB%A3%E4%B8%8E%E7%9F%A9%E9%98%B5%E8%AE%BA/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 线代与矩阵论</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E6%9C%80%E4%BC%98%E5%8C%96%E7%90%86%E8%AE%BA/"><i class="fa-fw fa-brands fa-codepen"></i><span> 最优化理论</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E4%BF%A1%E6%81%AF%E8%AE%BA/"><i class="fa-fw fa-solid fa-cube"></i><span> 信息论</span></a></li><li><a class="site-page child" href="/categories/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-ghost"></i><span> 机器学习</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1/"><i class="fa-fw fa-solid fa-globe"></i><span> 知识图谱</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 自然语言处理</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E7%8E%87%E7%BC%96%E7%A8%8B/"><i class="fa-fw fas  fa-atlas"></i><span> 概率编程</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-book-open"></i><span> 书籍</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="https://xishansnow.github.io/BayesianAnalysiswithPython2nd/index.html"><i class="fa-fw fa-solid  fa-landmark-dome"></i><span> 《Bayesian Analysis with Python》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/BayesianModelingandComputationInPython/index.html"><i class="fa-fw fa-solid  fa-graduation-cap"></i><span> 《Bayesian Modeling and Computation in Python》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/ElementsOfStatisticalLearning/index.html"><i class="fa-fw fa-solid  fa-book-atlas"></i><span> 《统计学习精要（ESL）》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/spatialSTAT_CN/index.html"><i class="fa-fw fa-solid  fa-layer-group"></i><span> 《空间统计学》</span></a></li><li><a class="site-page child" target="_blank" rel="noopener" href="https://otexts.com/fppcn/index.html"><i class="fa-fw fa-solid  fa-cloud-sun-rain"></i><span> 《预测：方法与实践》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/MLAPP/index.html"><i class="fa-fw fa-solid  fa-robot"></i><span> 《机器学习的概率视角（MLAPP）》</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-compass"></i><span> 索引</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/archives/"><i class="fa-fw fa-solid fa-timeline"></i><span> 时间索引</span></a></li><li><a class="site-page child" href="/tags/"><i class="fa-fw fas fa-tags"></i><span> 标签索引</span></a></li><li><a class="site-page child" href="/categories/"><i class="fa-fw fas fa-folder-open"></i><span> 分类索引</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-link"></i><span> 其他</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/link/food/"><i class="fa-fw fas fa-utensils"></i><span> 美食博主</span></a></li><li><a class="site-page child" href="/link/photography"><i class="fa-fw fas fa-camera"></i><span> 摄影大神</span></a></li><li><a class="site-page child" href="/link/paper/"><i class="fa-fw fas fa-book-open"></i><span> 学术工具</span></a></li><li><a class="site-page child" href="/gallery/"><i class="fa-fw fas fa-images"></i><span> 摄影作品</span></a></li><li><a class="site-page child" href="/about/"><i class="fa-fw fas fa-heart"></i><span> 关于</span></a></li></ul></div></div></div></div><div class="post" id="body-wrap"><header class="post-bg" id="page-header" style="background-image: url('/img/coffe_07.png')"><nav id="nav"><span id="blog_name"><a id="site-name" href="/">西山晴雪的知识笔记</a></span><div id="menus"><div id="search-button"><a class="site-page social-icon search"><i class="fas fa-search fa-fw"></i><span> 搜索</span></a></div><div class="menus_items"><div class="menus_item"><a class="site-page" href="/"><i class="fa-fw fas fa-home"></i><span> 主页</span></a></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-atom"></i><span> 预测</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E5%B9%BF%E4%B9%89%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-atom"></i><span> 广义线性模型</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E9%9D%9E%E5%8F%82%E6%95%B0%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-cogs"></i><span> 传统非参数模型</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B/"><i class="fa-fw fas fa-school"></i><span> 高斯过程</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fas fa-layer-group"></i><span> 神经网络</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E6%A8%A1%E5%9E%8B%E9%80%89%E6%8B%A9%E4%B8%8E%E5%B9%B3%E5%9D%87/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 模型选择与平均</span></a></li><li><a class="site-page child" href="/categories/%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1/%E5%B0%8F%E6%A0%B7%E6%9C%AC%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-solid fa-globe"></i><span> 小样本学习</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-file-export"></i><span> 生成</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E4%BC%A0%E7%BB%9F%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 传统概率图模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E7%8E%BB%E5%B0%94%E5%85%B9%E6%9B%BC%E6%9C%BA/"><i class="fa-fw fa-solid fa-deezer"></i><span> 玻耳兹曼机</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 变分自编码器</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E8%87%AA%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 自回归模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E5%BD%92%E4%B8%80%E5%8C%96%E6%B5%81/"><i class="fa-fw fa-solid fa-cube"></i><span> 归一化流</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E6%89%A9%E6%95%A3%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-ghost"></i><span> 扩散模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E8%83%BD%E9%87%8F%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 能量模型</span></a></li><li><a class="site-page child" href="/categories/%E7%94%9F%E6%88%90%E4%BB%BB%E5%8A%A1/%E7%94%9F%E6%88%90%E5%BC%8F%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-solid fa-globe"></i><span> 生成式对抗网络</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-magnet"></i><span> 挖掘</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%9A%90%E5%9B%A0%E5%AD%90%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 隐因子模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E7%8A%B6%E6%80%81%E7%A9%BA%E9%97%B4%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-deezer"></i><span> 状态空间模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E6%A6%82%E7%8E%87%E5%9B%BE%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 概率图学习</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%9D%9E%E5%8F%82%E6%95%B0%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 非参数贝叶斯模型</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E8%A1%A8%E7%A4%BA%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-solid fa-cube"></i><span> 表示学习</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/"><i class="fa-fw fa-solid fa-ghost"></i><span> 可解释性</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E9%99%8D%E7%BB%B4/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 降维</span></a></li><li><a class="site-page child" href="/categories/%E5%8F%91%E7%8E%B0%E4%BB%BB%E5%8A%A1/%E8%81%9A%E7%B1%BB/"><i class="fa-fw fa-solid fa-cogs"></i><span> 聚类</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-compass"></i><span> 贝叶斯</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-brands fa-codepen"></i><span> 概率图模型</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%92%99%E7%89%B9%E5%8D%A1%E6%B4%9B%E6%8E%A8%E6%96%AD/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 蒙特卡罗推断</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E5%8F%98%E5%88%86%E6%8E%A8%E6%96%AD/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 变分推断</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%BF%91%E4%BC%BC%E8%B4%9D%E5%8F%B6%E6%96%AF%E8%AE%A1%E7%AE%97/"><i class="fa-fw fa-solid fa-cube"></i><span> 近似贝叶斯计算</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A8%A1%E5%9E%8B%E6%AF%94%E8%BE%83%E4%B8%8E%E9%80%89%E6%8B%A9/"><i class="fa-fw fa-solid fa-ghost"></i><span> 模型比较与选择</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E8%B4%9D%E5%8F%B6%E6%96%AF%E4%BC%98%E5%8C%96/"><i class="fa-fw fa-solid fa-gas-pump"></i><span> 贝叶斯优化</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-ghost"></i><span> 不确定性DL</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/BayesNN/%E6%A6%82%E8%A7%88"><i class="fa-fw fa-solid fa-cube"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E5%8D%95%E4%B8%80%E7%A1%AE%E5%AE%9A%E6%80%A7%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 单一确定性神经网络</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/"><i class="fa-fw fa-brands fa-deezer"></i><span> 贝叶斯神经网络</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E6%B7%B1%E5%BA%A6%E9%9B%86%E6%88%90/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 深度集成</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E6%95%B0%E6%8D%AE%E5%A2%9E%E5%BC%BA/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 数据增强</span></a></li><li><a class="site-page child" href="/categories/BayesNN/%E5%AF%B9%E6%AF%94%E4%B8%8E%E8%AF%84%E6%B5%8B/"><i class="fa-fw fa-brands fa-deezer"></i><span> 对比与评测</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-map"></i><span> 空间统计</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/GeoAI/%E7%BB%BC%E8%BF%B0%E7%B1%BB/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 概览</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%82%B9%E5%8F%82%E8%80%83%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-solid fa-map"></i><span> 点参考数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E9%9D%A2%E5%85%83%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 面元数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%82%B9%E6%A8%A1%E5%BC%8F%E6%95%B0%E6%8D%AE/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 点模式数据</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%96%B9%E6%B3%95/"><i class="fa-fw fa-solid fa-cube"></i><span> 空间贝叶斯方法</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E5%8F%98%E7%B3%BB%E6%95%B0%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fa-solid fa-ghost"></i><span> 空间变系数模型</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E7%BB%9F%E8%AE%A1%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/"><i class="fa-fw fa-brands fa-deezer"></i><span> 空间统计深度学习</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E6%97%B6%E7%A9%BA%E7%BB%9F%E8%AE%A1%E6%A8%A1%E5%9E%8B/"><i class="fa-fw fas fa-atlas"></i><span> 时空统计模型</span></a></li><li><a class="site-page child" href="/categories/GeoAI/%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B8%93%E9%A2%98/"><i class="fa-fw fa fa-anchor"></i><span> 大数据专题</span></a></li><li><a class="site-page child" href="/categories/GeoAI/GeoAI/"><i class="fa-fw fa-brands fa-codepen"></i><span> GeoAI</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-database"></i><span> 基础</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E9%AB%98%E7%AD%89%E6%95%B0%E5%AD%A6/"><i class="fa-fw fa-solid fa-chart-area"></i><span> 高等数学</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E6%A6%82%E7%8E%87%E4%B8%8E%E7%BB%9F%E8%AE%A1/"><i class="fa-fw fa-brands fa-deezer"></i><span> 概率与统计</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E7%BA%BF%E4%BB%A3%E4%B8%8E%E7%9F%A9%E9%98%B5%E8%AE%BA/"><i class="fa-fw fa-brands fa-cloudsmith"></i><span> 线代与矩阵论</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E6%9C%80%E4%BC%98%E5%8C%96%E7%90%86%E8%AE%BA/"><i class="fa-fw fa-brands fa-codepen"></i><span> 最优化理论</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E4%BF%A1%E6%81%AF%E8%AE%BA/"><i class="fa-fw fa-solid fa-cube"></i><span> 信息论</span></a></li><li><a class="site-page child" href="/categories/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%9E%8B/%E6%A6%82%E8%A7%88/"><i class="fa-fw fa-solid fa-ghost"></i><span> 机器学习</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1/"><i class="fa-fw fa-solid fa-globe"></i><span> 知识图谱</span></a></li><li><a class="site-page child" href="/categories/%E5%9F%BA%E7%A1%80%E7%90%86%E8%AE%BA%E7%9F%A5%E8%AF%86/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/"><i class="fa-fw fa-solid fa-hands-holding"></i><span> 自然语言处理</span></a></li><li><a class="site-page child" href="/categories/%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BB%9F%E8%AE%A1/%E6%A6%82%E7%8E%87%E7%BC%96%E7%A8%8B/"><i class="fa-fw fas  fa-atlas"></i><span> 概率编程</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-book-open"></i><span> 书籍</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="https://xishansnow.github.io/BayesianAnalysiswithPython2nd/index.html"><i class="fa-fw fa-solid  fa-landmark-dome"></i><span> 《Bayesian Analysis with Python》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/BayesianModelingandComputationInPython/index.html"><i class="fa-fw fa-solid  fa-graduation-cap"></i><span> 《Bayesian Modeling and Computation in Python》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/ElementsOfStatisticalLearning/index.html"><i class="fa-fw fa-solid  fa-book-atlas"></i><span> 《统计学习精要（ESL）》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/spatialSTAT_CN/index.html"><i class="fa-fw fa-solid  fa-layer-group"></i><span> 《空间统计学》</span></a></li><li><a class="site-page child" target="_blank" rel="noopener" href="https://otexts.com/fppcn/index.html"><i class="fa-fw fa-solid  fa-cloud-sun-rain"></i><span> 《预测：方法与实践》</span></a></li><li><a class="site-page child" href="https://xishansnow.github.io/MLAPP/index.html"><i class="fa-fw fa-solid  fa-robot"></i><span> 《机器学习的概率视角（MLAPP）》</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-compass"></i><span> 索引</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/archives/"><i class="fa-fw fa-solid fa-timeline"></i><span> 时间索引</span></a></li><li><a class="site-page child" href="/tags/"><i class="fa-fw fas fa-tags"></i><span> 标签索引</span></a></li><li><a class="site-page child" href="/categories/"><i class="fa-fw fas fa-folder-open"></i><span> 分类索引</span></a></li></ul></div><div class="menus_item"><a class="site-page group hide" href="javascript:void(0);"><i class="fa-fw fas fa-link"></i><span> 其他</span><i class="fas fa-chevron-down"></i></a><ul class="menus_item_child"><li><a class="site-page child" href="/link/food/"><i class="fa-fw fas fa-utensils"></i><span> 美食博主</span></a></li><li><a class="site-page child" href="/link/photography"><i class="fa-fw fas fa-camera"></i><span> 摄影大神</span></a></li><li><a class="site-page child" href="/link/paper/"><i class="fa-fw fas fa-book-open"></i><span> 学术工具</span></a></li><li><a class="site-page child" href="/gallery/"><i class="fa-fw fas fa-images"></i><span> 摄影作品</span></a></li><li><a class="site-page child" href="/about/"><i class="fa-fw fas fa-heart"></i><span> 关于</span></a></li></ul></div></div><div id="toggle-menu"><a class="site-page"><i class="fas fa-bars fa-fw"></i></a></div></div></nav><div id="post-info"><h1 class="post-title">深度神经网络在大规模空间预测中的应用</h1><div id="post-meta"><div class="meta-firstline"><span class="post-meta-date"><i class="far fa-calendar-alt fa-fw post-meta-icon"></i><span class="post-meta-label">发表于</span><time class="post-meta-date-created" datetime="2023-02-09T02:00:00.000Z" title="发表于 2023-02-09 10:00:00">2023-02-09</time><span class="post-meta-separator">|</span><i class="fas fa-history fa-fw post-meta-icon"></i><span class="post-meta-label">更新于</span><time class="post-meta-date-updated" datetime="2023-02-16T04:08:51.094Z" title="更新于 2023-02-16 12:08:51">2023-02-16</time></span><span class="post-meta-categories"><span class="post-meta-separator">|</span><i class="fas fa-inbox fa-fw post-meta-icon"></i><a class="post-meta-categories" href="/categories/GeoAI/">GeoAI</a><i class="fas fa-angle-right post-meta-separator"></i><i class="fas fa-inbox fa-fw post-meta-icon"></i><a class="post-meta-categories" href="/categories/GeoAI/%E7%A9%BA%E9%97%B4%E7%BB%9F%E8%AE%A1%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/">空间统计深度学习</a></span></div><div class="meta-secondline"><span class="post-meta-separator">|</span><span class="post-meta-wordcount"><i class="far fa-file-word fa-fw post-meta-icon"></i><span class="post-meta-label">字数总计:</span><span class="word-count">11.7k</span><span class="post-meta-separator">|</span><i class="far fa-clock fa-fw post-meta-icon"></i><span class="post-meta-label">阅读时长:</span><span>41分钟</span></span></div></div></div></header><main class="layout" id="content-inner"><div id="post"><article class="post-content" id="article-container"><script src='https://unpkg.com/tippy.js@2.0.2/dist/tippy.all.min.js'></script>
<script src='/js/attachTooltips.js'></script>
<link rel='stylesheet' href='/css/tippy.css'>
<script src="https://unpkg.com/tippy.js@2.0.2/dist/tippy.all.min.js"></script>
<script src="/js/attachTooltips.js"></script>
<link rel="stylesheet" href="/css/tippy.css">
<link rel="stylesheet" type="text/css" href="https://cdn.jsdelivr.net/hint.css/2.4.1/hint.min.css"><p>【摘 要】 对于空间克里金法（预测），高斯过程 (GP) 几十年来一直是空间统计学家的首选工具。然而，高斯过程受到计算困难的困扰，使其无法用于大型空间数据集。另一方面，神经网络 (NN) 已成为一种灵活且计算上可行的捕获非线性关系的方法。然而，迄今为止，神经网络仅很少用于解决空间统计问题，但它们的使用已开始扎根。在这项工作中，我们论证了神经网络和高斯过程之间的等价性，并演示了如何为大型空间数据的克里金法实施神经网络。我们比较了神经网络的计算效率和预测能力与高斯过程近似在各种大空间高斯、非高斯和二进制数据应用程序中的计算效率和预测能力，大小高达 <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>n</mi><mo>=</mo><mn>1</mn><msup><mn>0</mn><mn>6</mn></msup></mrow><annotation encoding="application/x-tex">n = 10^6</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.4306em;"></span><span class="mord mathnormal">n</span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.8141em;"></span><span class="mord">1</span><span class="mord"><span class="mord">0</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height:0.8141em;"><span style="top:-3.063em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight">6</span></span></span></span></span></span></span></span></span></span></span>。我们的结果表明，完全连接的神经网络的性能与状态相似用于短期预测的最先进的高斯过程近似模型，但可能会受到更长期预测的影响。</p>
<p>【原 文】 Gray, S.D. et al. (2022) ‘On the Use of Deep Neural Networks for Large-Scale Spatial Prediction’, Journal of Data Science, pp. 493–511. Available at: <a target="_blank" rel="noopener" href="https://doi.org/10.6339/22-JDS1070">https://doi.org/10.6339/22-JDS1070</a>.</p>
<h2 id="1-简介">1 简介</h2>
<p>空间统计涉及空间相关数据的分析。考虑到观测值之间的空间相关性，可以更准确地预测不同领域的现象，包括人口趋势、天气预报、生态特征和组件故障时间分析。传统上，空间统计学家的首选工具是高斯过程 (GP)。使用高斯过程的固有优势是能够利用数据中的空间相关性在新位置生成预测（在空间统计文献中称为 “克里金法”）。</p>
<p>然而，由于计算复杂性和非现实的相关结构（例如，当一个过程实际上是非平稳的时，为简单起见假设平稳），最近涉及大数据的应用程序已经开始看到使用高斯过程的复杂性。传统上，将高斯过程拟合到大型数据集非常昂贵，由于求逆 <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow><annotation encoding="application/x-tex">n × n</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6667em;vertical-align:-0.0833em;"></span><span class="mord mathnormal">n</span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">×</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.4306em;"></span><span class="mord mathnormal">n</span></span></span></span> 矩阵（其中 <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>n</mi></mrow><annotation encoding="application/x-tex">n</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.4306em;"></span><span class="mord mathnormal">n</span></span></span></span> 是样本大小），计算时间花费 <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi mathvariant="script">O</mi><mo stretchy="false">(</mo><msup><mi>n</mi><mn>3</mn></msup><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">\mathcal{O}(n^3)</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1.0641em;vertical-align:-0.25em;"></span><span class="mord mathcal" style="margin-right:0.02778em;">O</span><span class="mopen">(</span><span class="mord"><span class="mord mathnormal">n</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height:0.8141em;"><span style="top:-3.063em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight">3</span></span></span></span></span></span></span></span><span class="mclose">)</span></span></span></span>。然而，研究人员已经开发出多种技术来近似高斯过程，因此仍然可以利用它们的优势进行预测（参见 Heaton 等，2019 年 <sup class="refplus-num"><a href="#ref-Heaton2019">[16]</a></sup>；Liu 等，2020 年<sup class="refplus-num"><a href="#ref-Liu2020">[27]</a></sup> 的综述）。此类近似包括：</p>
<ul>
<li><strong>低秩基函数</strong>（Sang 和 Huang，2012 <sup class="refplus-num"><a href="#ref-Sang2012">[37]</a></sup>；Katzfuss，2017 <sup class="refplus-num"><a href="#ref-Katzfuss2017">[22]</a></sup>；Cressie 和 Johannesson，2008a <sup class="refplus-num"><a href="#ref-Cressie2008a">[4]</a></sup>）</li>
<li><strong>将稀疏性引入协方差矩阵</strong>（Furrer 等，2006 <sup class="refplus-num"><a href="#ref-Furrer2006">[12]</a></sup>；Kaufman 等，2008 <sup class="refplus-num"><a href="#ref-Kaufman2008">[24]</a></sup>）</li>
<li><strong>将稀疏性引入精度矩阵</strong>（Datta 等，2016a <sup class="refplus-num"><a href="#ref-Datta2016a">[7]</a></sup>，b<sup class="refplus-num"><a href="#ref-Datta2016b">[8]</a></sup>；Katzfuss 和 Guinness，2021 <sup class="refplus-num"><a href="#ref-Katzfuss2021">[23]</a></sup>）。</li>
</ul>
<p>虽然大多数这些近似使用了理想主义的相关结构，但最近的工作重点已经开始利用这些方法来获得更现实的相关性结构（Huang 等，2021b <sup class="refplus-num"><a href="#ref-Huang2021b">[19]</a></sup>）</p>
<p>虽然高斯过程一直是统计学家最喜欢的工具，但神经网络 (NN) 由于能够逼近几乎任何函数，因此在计算机科学领域迅速流行起来（Yarotsky，2018 年 <sup class="refplus-num"><a href="#ref-Yarotsky2018">[43]</a></sup>）。神经网络是灵活的模型框架，可通过重复遍历数据的优化算法来“学习”模式。这些模型有无数的应用领域，包括预测物体距离、短期降雨预报、企业财务困境和辣椒植物病害分类（Mesa 等，2019 年<sup class="refplus-num"><a href="#ref-Mesa2019">[29]</a></sup>；Zhang 等，2018 年<sup class="refplus-num"><a href="#ref-Zhang2018">[46]</a></sup>；El Bannany 等，2021 年 <sup class="refplus-num"><a href="#ref-El2021">[11]</a></sup>） ; Nuanmeesri 和 Sriurai，2021 <sup class="refplus-num"><a href="#ref-Nuanmeesri2021">[32]</a></sup>）</p>
<p>在高斯过程与深度学习的结合方面：</p>
<ul>
<li><a href="9515d5ad.html">Lee 等</a> (2018 <sup class="refplus-num"><a href="#ref-Lee2018">[25]</a></sup>) 和 Matthews 等 (2018 <sup class="refplus-num"><a href="#ref-Matthews2018">[28]</a></sup>) 最近讨论并指出：只要隐藏神经元的数量趋于无穷大，单个隐藏层就可以逼近高斯过程。因此，深度神经网络有可能超越高斯过程。</li>
<li><a href="3a9f5e9d.html">Chen 等</a>(2022 <sup class="refplus-num"><a href="#ref-Chen2022">[3]</a></sup>) 在这方面的开创性工作，概述了使用全连接神经网络进行空间预测的一般方法。</li>
<li>Lenzi 等 (2021 <sup class="refplus-num"><a href="#ref-Lenzi2021">[26]</a></sup>) 以及 Gerber 和 Nychka (2021 <sup class="refplus-num"><a href="#ref-Gerber2021">[15]</a></sup>) 使用神经网络对高斯过程进行参数估计，然后进行预测。</li>
<li>Zammit-Mangion 和 Wikle (2020 <sup class="refplus-num"><a href="#ref-Zammit-Mangion2020">[45]</a></sup>) 使用卷积神经网络来估计时空过程的参数。</li>
<li>Zammit-Mangion 等 (2021 <sup class="refplus-num"><a href="#ref-Zammit-Mangion2021">[44]</a></sup>) 使用神经网络作为非平稳空间模型的变形函数。</li>
<li>Sauer 等 (2022a <sup class="refplus-num"><a href="#ref-Sauer2022a">[38]</a></sup>) 使用神经网络代替高斯过程仿真器进行计算机实验，并由 Sauer 等（2022b <sup class="refplus-num"><a href="#ref-Sauer2022b">[39]</a></sup>）进行扩展。这使得计算更具可扩展性。</li>
</ul>
<p>我们建议读者参阅 <a href="c93c5021.html">Wikle 和 Zammit-Mangion</a> (2022 <sup class="refplus-num"><a href="#ref-Wikle2022">[41]</a></sup>) 的最新评论文章，以进行更全面的评论。</p>
<p>上述许多神经网络在传统空间问题中的应用仍然受到计算问题的困扰，或者尚未充分探索神经网络在大型空间预测问题中的应用（例如 Chen 等 2022 年仅考虑 <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>n</mi><mo>≈</mo><mn>12</mn><mo separator="true">,</mo><mn>000</mn></mrow><annotation encoding="application/x-tex">n \approx  12, 000</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.4831em;"></span><span class="mord mathnormal">n</span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">≈</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.8389em;vertical-align:-0.1944em;"></span><span class="mord">12</span><span class="mpunct">,</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord">000</span></span></span></span> 时的大数据集）。为了填补这一研究空白，本研究的主要目标是 <strong>进一步了解使用全连接神经网络从大型空间数据集执行空间预测时的能力和局限性</strong>。具体来说，我们希望评估在 <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>n</mi><mo>≈</mo><mn>1</mn><msup><mn>0</mn><mn>6</mn></msup></mrow><annotation encoding="application/x-tex">n \approx  10^6</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.4831em;"></span><span class="mord mathnormal">n</span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">≈</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.8141em;"></span><span class="mord">1</span><span class="mord"><span class="mord">0</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height:0.8141em;"><span style="top:-3.063em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight">6</span></span></span></span></span></span></span></span></span></span></span> 量级的数据中，神经网络在高斯和非高斯应用以及短程和长程预测问题。我们的结果表明，这种方法是计算高效的，但只有当数据密集时准确性才能得到保证（更多细节见 <code>第 4 节</code>）。</p>
<p>本文的其余部分概述如下。第 2 节回顾了高斯过程和神经网络的关键思想，并讨论了两者之间的潜在联系。第 3 节详细介绍了我们对神经网络的实现，第 4 节将神经网络性能与使用高斯过程进行了比较。第 5 节得出结论并概述未来工作的领域。</p>
<h2 id="2-方法">2 方法</h2>
<h3 id="2-1-高斯过程">2.1 高斯过程</h3>
<p>设 Y(s) 是在空间位置 s \in  D \subset  Rd 处测量的响应变量，其中，出于本研究的目的，我们关注 d = 2。如果对于任何有限的位置集，则表面 Y(s) 遵循高斯过程s1,…,sn，向量 Y = (Y (s1),…,Y(sn))′ ∼ Nn(μ, ) 其中 Nn(m, S) 表示具有均值向量 m 的多元正态分布和协方差矩阵 S。均值向量 μ = (μ(s1),…,μ(sn))’ 表示 n 个位置中每个位置的平均值，通常被视为协变量的线性组合，使得 μ( s) = x′(s)β 其中 x(s) = (1,x1(s),…,xQ(s))′ 是 Q 协变量加上常数项（截距）的向量。协方差矩阵</p>
<p>={K(\mathbf{s}_i, \mathbf{s}_j | φ)}n i,j=1</p>
<p>其中 K(\mathbf{s}_i, \mathbf{s}_j | φ) 是一个协方差（或者，在机器学习术语中，一个内核）函数，它引起位置 s 和 s’ 之间的相关性并且包括未知参数 φ = (φ1,…,φJ )'。最常见的是，K(s1, s2) 属于 Matérn 类的平稳协方差函数，因此</p>
<p>K(s1, s2 | φ) = σ 2 21−ν (ν) (√2ν ‖s1 − s2‖ ρ )ν Kν (√2ν ‖s1 − s2‖ ρ )</p>
<p>其中 φ = (σ 2,ν,ρ)'，Kν 是第二类修正贝塞尔函数，σ 2 是空间方差参数，ν 是过程平滑度，ρ 称为空间范围参数。虽然 Matérn 协方差函数是最常用的，但出于说明的目的，我们将假设 K(·,·|φ) 是任何一般的正定函数。</p>
<p>高斯过程在空间统计中用于推理目的和预测（Gelfand 和 Schliep，2016）。在推论方面，未知参数的估计通常通过最大似然获得，其中似然由下式给出</p>
<p>大号∝| |−1/2 exp { −1 2 (Y − Xβ )′ −1(Y − Xβ ) }</p>
<p>使用最大似然的优点是数据的相关结构被构建到相关的最大似然估计中。然而，(3) 中的可能性揭示了使用高斯过程的相关挑战。具体来说，存在 | |和 -1 在似然函数中需要 \mathcal{O}(n^3) 操作，这对于大 n 来说非常慢</p>
<p>通过高斯过程进行预测是利用多元正态分布的条件分布是正态的这一事实。也就是说，设 Yp 是我们希望获得预测的响应值的尚未观测值的有限 m 向量。在高斯过程假设下，(Y , Y p) 的联合分布为</p>
<p>(Y Yp ) ∼ Nn+m (( Xβ Xpβ ) , ( op p po p ))</p>
<p>其中 Xp 是 Y p 的协变量矩阵，op = ′ po 是 Y 和 Y p 之间的协方差，p 是 Y p 的协方差矩阵。在这种联合分布下，给定 Y 的 Y p 的条件分布为</p>
<p>是Y ∼ Nm (Xpβ + po −1(Y − Xβ ), p − po −1 op )</p>
<p>它不仅产生点预测 (Xpβ + po −1(Y − Xβ ))，而且还通过 p − po −1 op 的对角线元素给出与此预测相关的不确定性相关度量。</p>
<h3 id="2-2-神经网络（多层感知器）">2.2 神经网络（多层感知器）</h3>
<p>尺寸 P × 1)。输入层，我们定义为第 0 层，将 x0(s) = (x(s), g(s))’ 定义为排除常数项并与 g(s) 连接的协变量 x(s) 的集合，空间信息 s 的转换。这些位置信息的变换可以是恒等函数变换或其他变换函数，例如s2 1 ，以增加神经网络的灵活性。</p>
<p>在多层感知器下，E(Y (s)) = fL+1(bL+1 + W L+1xL(s)) 其中</p>
<p>x (s) = f (W x −1(s) + b )</p>
<p>L 是模型中的隐藏层数，W 是 P x P −1 权重矩阵，b 是 P ×1 偏置权重矩阵（截距），f (·) 是逐元素非线性矩阵转换，称为激活函数，它解释了输入和输出之间的非线性关系。虽然激活函数有很多可能的选择（参见 Ramachandran 等，2017 年；Nwankpa 等，2018 年的讨论），但本文中使用的转换函数 = 1,…,L 是</p>
<p>f(x) = I(x &gt; 0)x</p>
<p>其中 I(A) 是集合 A 的指标（此激活函数称为整流线性单元 (ReLU)）。选择最终激活函数 fL+1(x) 以匹配输出层 Y(s) 的支持。例如，如果 Y(s) 是实值，则 fL+1 通常是恒等函数，而如果 Y(s) 是二元函数，则 fL+1 可能是 sigmoid 函数。我们在分析中保持激活函数不变，因为通常每个流行的激活函数都达到相似的预测能力（Ramachandran 等，2017 年；Nwankpa 等，2018 年），尽管出于我们对全连接神经网络的目的， ReLU 倾向于更快地达到预测精度。</p>
<p>神经网络的未知数（参数）是权重 {W} 和偏差 {b} 的集合，其中 l = 1,…,L+ 1。由于参数空间的高维性，神经网络通过某种形式进行训练梯度下降方法（例如随机梯度下降或 ADAM 优化器）。我们不打算在这里详细介绍梯度下降法，但出于本研究的目的，我们提到了与这些方法相关的两个调整参数。首先，批量大小是在一次训练迭代中使用的数据子样本的大小。其次，学习率是每次迭代使用的步长。</p>
<p>考虑到神经网络的简单框架，它的优势和随后的流行是显而易见的，原因有几个。首先，对多变量、连续、二元或分类响应变量（或它们的混合）建模就像调整输出神经元的数量、输出激活和相关的损失函数以匹配相应的响应变量一样简单。相比之下，根据定义，高斯过程仅适用于连续响应变量，尽管它们已通过广义线性模型框架（Diggle 等，1998 年、2003 年）用于多变量设置（Genton 和 Kleiber，2015 年）。当在连续响应变量领域之外使用时，高斯过程在模型拟合方面具有额外的复杂性。其次，神经网络的计算效率远高于高斯过程。如上所述，所涉及的计算完全避免了通过使用批量子采样来处理大型矩阵的需要。</p>
<p>虽然神经网络有很多优点，但它们因过度拟合而臭名昭著。因此，这些模型的用户必须意识到并能够减轻模型过度拟合（Jabbar 和 Khan，2015 年）。有几种方法可以防止过拟合，例如降低学习率、使用 dropout、简化模型、提前停止、在损失函数中使用正则化和数据扩充。使用神经网络的第二个缺点是，由于通过激活函数进行的一系列非线性变换，参数无法解释。然而，已经开发出部分依赖图和特征重要性度量等技术来提供对协变量效应的一些解释（Molnar 等，2021）。</p>
<h3 id="2-3-使用神经网络作为高斯过程的近似">2.3 使用神经网络作为高斯过程的近似</h3>
<p>Neal (1994) 和 Lee 等(2018) 的工作推导出了无限宽神经网络和高斯过程之间的等价性。虽然 Neal (1994) 和 Lee 等(2018) 诉诸中心极限定理来证明等价性，但鉴于其最近在文献中的流行（参见 Cressie 和 Johannesson，2008a；Katzfuss，2017），我们重申了 Lee 等的等价性论证。 (2018) 在这里使用高斯过程的基函数表示，但我们遵从 Lee 等的意见。 (2018) 进行更严格的治疗。对于基函数参数，回想一下 Karhunen-Loève 定理指出高斯过程Y(s) 可以表示为基函数的线性组合，如下所示</p>
<p>Y(s) = lim P →∞ P ∑ p=1 ep(s)θp</p>
<p>其中 ep(s) 是正交特征函数，θp 是独立的零均值高斯随机变量，方差为 sp（Cressie 和 Wikle，2015）。高斯过程和神经网络的等价性可以直观地看出，注意到 L 层的神经网络给出一组基数 (xLp (s1),…,xLp (sn))’ for p = 1,。 …,PL 其中 xLp (\mathbf{s}_i) 是第 L 层的第 p 个神经元，用于观察 i = 1,…,n。也就是说，神经网络模型是</p>
<p>Y(s) = bL+1 + PL ∑ p=1 xLp (s)w(L+1)p</p>
<p>其中 w(L+1)p 是独立的权重。将 {(xLp (s1),…,xLp (sn))'}（通过例如 GramSchmidt 正交化）正交化为 eL1,…,eLPL 并允许 PL →∞证明无限宽的神经网络是全科医生</p>
<p>Neal (1994) 和 Lee 等(2018) 确定可以通过使用高斯过程先验的贝叶斯训练来拟合无限宽度的神经网络。然而，这种无限宽的神经网络对于大型数据集（例如，超过 100,000 个观测值）在计算上是不可行的。该项目不会使用无限宽的神经网络，而是遵循 Chen 等 (2022)and Lee  等(2018) 使用具有大隐藏层宽度和深度的神经网络来近似高斯过程。这类似于高斯过程的其他基函数扩展近似，例如核卷积 (Higdon, 1998)、固定秩克里金法 (Cressie and Johannesson, 2008a)、预测过程 (Banerjee  等, 2008) 或多分辨率基 (Katzfuss, 2017）。</p>
<p>虽然使用神经网络来近似高斯过程与其他基函数方法类似，但与其他方法相比，使用神经网络有几个明显的潜在优势。首先，神经网络中使用的基是根据数据估计的，而不是固定的先验。具体地，式(6)中的x p (s)包括在拟合过程中更新的未知权重。这有可能为过程创建一组比替代基函数方法中使用的更有效的基函数。此外，神经网络中使用的基函数不受平稳性或其他简化假设的约束。也就是说，神经网络有可能学习数据中存在的任何相关结构，无论是否静止。</p>
<p>使用神经网络模型的缺点之一是要设置的模型超参数数量过多。除了决定全连接神经网络框架的关键参数（例如隐藏层数和网络宽度）之外，适当设置权重初始化参数、学习率或正则化参数可能同样重要，甚至更重要。通过在神经网络设置的参数空间中执行网格搜索，可以缓解此问题。除了超参数选择困难之外，将神经网络拟合到复杂的数据集可能需要每一层的数千个神经元来学习数据结构。这将需要额外的计算时间来适应神经网络，但考虑到上述策略，这些挑战比完整高斯过程面临的计算挑战更容易克服。</p>
<h2 id="3神经网络拟合方法">3神经网络拟合方法</h2>
<h3 id="3-1-神经网络输入">3.1 神经网络输入</h3>
<p>适用于本研究数据的神经网络是严格全连接的神经网络。通常，我们配置三种类型的参数来为跨多个数据集的预测找到最佳的神经网络模型设置。这些配置类型是神经网络输入层、结构设计（网络多宽多深、网络权重如何初始化等）、优化参数（优化器算法的选择、学习率、学习率衰减、权重衰减、dropout率、损失函数等）。</p>
<p>本研究涉及的数据集只有 x-y 或经纬度输入。使用这些坐标，我们探索四种不同输入层配置的神经网络性能，一种是未转换的 x-y 值（原始），另三种是基函数扩展。在基函数展开中，第一个是两个位置值的一组变换 (Trans)，以创建一个 8 × 1 输入层 (x,y,x2,y2, sin(x), sin(y), cos( x), 余弦(y)).最后两个是以下列方式对位置变量进行径向基函数扩展。令 ai 为节点 i = 1,…,A 的位置，其中 A 是径向基函数展开中的节点数。此外，令 d(s1, s2) =‖s1 − s2‖ 为位置 s1 和 s2 之间的欧氏距离，并且</p>
<p>θ = 2min i =j d(ai, aj )</p>
<p>表示基结之间最小距离的两倍。我们使用的径向基函数是二维数据 Wendland 函数的修订版</p>
<p>φ(d(\mathbf{s}_i, aj )) = 1(d(\mathbf{s}_i, aj ) θ)(1 − d(\mathbf{s}_i, aj )/θ )6(35(d(\mathbf{s}_i, aj )/θ )2 + 18d(\mathbf{s}_i , j )/θ + 3) 3 .</p>
<p>然后，径向基函数展开是 \mathbf{s}_i 到 φ(d) 的逐元素变换。理论上，空间分析中常用的任何基函数展开都可以在这里使用，但我们发现径向基足以满足我们的目的。</p>
<p>类似于 Chen 等 (2022)，我们探索了粗略的 16 结基础扩展 (CB) 以及多分辨率基础扩展 (MRB) 的性能，其中包括粗略的 16 结扩展和 400 结扩展。图 1a 显示了位置数据转换的示例，用于 150K 观测模拟温度数据集的径向基函数扩展。十六节均匀分布在位置空间中。 16 变量变换表示从局部观察到均匀分布在样本空间矩形区域的 16 节的距离，其中较高的值与更接近给定结的观察相关联。</p>
<p>值得注意的是，径向基函数展开是局部定义的，因此只有在局部样本量足够大时才有用。也就是说，径向基函数在数据很少的区域可能具有接近零的方差。图 1b 显示了径向基函数扩展到 400 个局部相关区域中所有四百个节点的位置，而颜色方案表示基的总和（即 ∑N i=1 φ(d(\mathbf{s}_i, aj ))）。给定此局部基础结构的粒度，某些基础预测变量的基础转换变量可能全部为 0（即接近零方差）。将神经网络拟合到这些数据可能会导致拟合不佳，从而在数据很少的区域进行极端预测。为防止这种情况，我们只保留局部样本量大于 30 且最大预测变量值为 0.75 或更大的结点的基础变换。</p>
<h3 id="3-2-网格搜索">3.2 网格搜索</h3>
<p>对于模型拟合中研究的四种输入结构中的每一种，其余两种神经网络配置类型（其结构设计和优化参数）通过网格搜索进行选择，以提高每个数据集模型拟合的客观性和动态能力。我们实施的两个网格搜索中的第一个是自定义网格搜索，它探索所有隐藏层之间具有最多 800K 权重参数的不同参数值的每种组合。网格搜索中包含的超参数包括隐藏层数 {20, 21, …, 24}，层宽 {23, 26, 27, …, 211}，批量大小 {24, 25, … ., 28}，学习率衰减 {0, 0.01 Ntrain/batch_size }，dropout 率 {0, 0.1}。这个自定义网格是通过细化在本研究的早期阶段完成的超参数值的初始粗网格获得的（结果未显示）。对于自定义网格搜索方法，每种输入类型总共适合 480 个神经网络。对于每个神经网络拟合，学习率设置为常数 0.001。</p>
<p>除了使用自定义网格搜索外，我们还模仿 Lee 等使用的网格搜索。 (2018) 并将我们的实现称为 Lee2018 网格搜索。使用此网格搜索对每个数据集进行拟合的神经网络通过针对我们的神经网络框架的每个选择（深度、宽度）的几个初始化和学习参数随机搜索 50 次试验进行优化。每次试验随机抽取以下神经网络超参数：学习率、权重衰减、权重参数抽样分布标准差 σw、偏差参数抽样分布标准差 σb 和批量大小。连续超参数是从具有不同范围的均匀分布中采样的。学习率在对数尺度的 (10−4, 0.2) 范围内采样，权重衰减在对数尺度的 (10−8, 1) 范围内，σw 在 (0.01, 2.25) 范围内，σb 在 (0, 1.5) 范围内。批量大小是从 {24, 25, …, 28} 中以偶数概率抽取的。使用 Lee2018 网格搜索，每种输入类型总共适合 950 个神经网络。表 1 显示了下面第 4 节中给出的示例中使用的最佳超参数设置。</p>
<h3 id="3-3神经网络常数、损失函数和停止准则">3.3神经网络常数、损失函数和停止准则</h3>
<p>所有输入类型和网格搜索的神经网络对除输出层外的每一层都使用 ReLU 激活函数。此外，为将神经网络拟合到连续数据而选择的损失函数是均方误差 (MSE)（但为了可解释性而报告为均方根误差 (RMSE)），而二进制数据最小化交叉熵 (CE)。在未明确提及超参数的情况下，例如适用于自定义网格搜索的神经网络的初始化参数，将使用 R（R 核心团队，2021）中 Keras（Allaire 和 Chollet，2022）库的默认参数设置。</p>
<p>每个适用于超参数优化的神经网络通过训练数据最多迭代 100 个时期。在每个时期之后，我们计算更新后的神经网络的验证损失。这个拟合过程一直持续到连续五个时期未能达到新的最小验证损失。我们使用每个模型的最小验证损失来比较网格搜索模型的性能。对于与完整训练集拟合的最终神经网络模型，训练的时期数等于具有最小验证损失的时期，四舍五入到最接近的五的倍数。</p>
<h2 id="4-应用">4 应用</h2>
<p>在本节中，我们将简要介绍每个示例数据集，八个最佳拟合神经网络之间的定量比较，以及跨数据集最佳拟合神经网络的评估。表 2 显示了每个网格输入模型组合中最佳神经网络的验证性能。表 3 包含原始输入类型和最佳基函数扩展输入类型（Basis）的测试指标，用于自定义和 Lee2018 网格搜索以及我们定义为的最先进（SoTA）模型文献中先前分析给出的数据集上表现最好的模型。对于表 2 和表 3，请注意较低的 RMSE 和 CE 表示更好的性能，但更高的准确度和 F1 分数表示更好的性能。</p>
<h3 id="4-1-例-1：100万高斯量化">4.1 例 1：100万高斯量化</h3>
<p>这里考虑的第一个数据集大小为 n = 1e6，分为 9e5 和 1e5 训练和测试集，是来自 Huang 等的子竞赛 2b 的高斯数据。 (2021a)。训练（图 2a）和测试数据均匀分布在 x-y 空间中，其中 x, y \in  (0, 1)。为了训练神经网络，我们随机选择 20% 的训练数据作为验证集，仅将剩余的 80% 用于训练目的，但是在预测测试集时，我们使用完整的训练数据（包括验证集）重新训练神经网络) 使用最佳调整参数。评估我们的模型在此数据集上的预测性能说明了我们可以使用神经网络方法进行插值的程度，此外还证明了将模型拟合到所有可用数据的可行性。</p>
<p>从表 2 中，在自定义和 Lee2018 网格搜索下，MRB 输入类型在验证测试集上表现最好。自定义网格搜索的性能优于 Lee2018，验证 RMSE 为 0.0078 而不是 0.014。 MRB 适合自定义网格搜索的性能也在测试的四个最终模型中占主导地位，测试 RMSE 为 0.0056（参见表 3），空间误差如图 2b 所示。来自 Huang 等的最佳 RMSE。 (2021a) 约为 0.001。虽然神经网络测试 RMSE 接近 0.0056，但这是相对于空模型的预测性能度量。 0.0056 的神经网络RMSE 等同于 R2 检验 = 0.9999，这表明神经网络虽然不是整体上最强的预测变量，但可以生成高度准确的预测。</p>
<h3 id="4-2-例-2：100万非高斯定量">4.2 例 2：100万非高斯定量</h3>
<p>此示例中的数据与示例 1 (Huang  等, 2021a) 来源相同，但是由 Tukey g-h 随机场生成的非高斯数据集。训练和测试数据均匀分布在 x-y 空间中，其中 x, y \in  (0, 1)。该数据被分成大小分别为 9 × 105 和 105 的训练集和测试集（参见图 3a）。与前面的示例一样，训练数据集的 20% 的随机样本用于验证和神经网络训练。该数据集虽然类似于示例 1 的数据集，但增加了非高斯误差结构的复杂性。</p>
<p>在自定义和 Lee2018 网格搜索下，MRB 输入类型再次表现最佳。两种网格搜索都表现得很好，自定义搜索实现了 0.08 的验证 RMSE 和 0.09 的 Lee2018（见表 2）。使用自定义网格搜索的 MRB 拟合也表现最佳，测试 RMSE 为 0.068。图 3b 显示神经网络预测器最难逼近数据中的尖峰。总体而言，它高估了峰值的高度。再次与 Huang 等进行比较。 (2021a)，最佳 RMSE 为 0.021，表明神经网络方法的 RMSE 高出 350%。然而，神经网络RMSE 等同于 R2 检验 = 0.999，这表明非常强的预测性能与 Huang 等的最佳预测器之间的差异。 (2021a) 并且神经网络相对于数据规模较小。</p>
<h3 id="4-3-例-3：150K-模拟温度">4.3 例 3：150K 模拟温度</h3>
<p>此示例的数据集是使用 2016 年 8 月 4 日 MODIS 卫星的真实白天地表温度读数生成的，并作为比较数据集包含在 Heaton 等的论文中。 （2019）。这个数据集是通过将高斯过程拟合到 2,500 个观察的随机样本来模拟的，从拟合的高斯过程中模拟 150K，然后分成大约 100K-50K 的训练测试分割。保留的测试数据模拟了抑制地表温度测量的云层（见图 4a）。虽然这个数据示例比前两个示例小得多，但这个示例增加的复杂性在于，训练集和测试集都没有均匀分布在 x-y 坐标空间中，因为云层遮挡了位置空间中的测量组。因此，该数据集为我们提供了在远程预测中评估神经网络相对于高斯过程近似的性能的机会。为了训练数据以在没有信息的情况下在整个区域进行预测，我们以非随机方式手动将训练集中约 20% 的数据分成验证集（参见图 4b），以验证更长期的预测模型训练。</p>
<p>在所有适合的模型中，也许最初令人惊讶，最好的模型是 CB（粗基），验证 RMSE 为 1.20。这与前两个示例形成对比，在前两个示例中，MRB 输入模型要好得多。在测试集上，Lee2018 CB神经网络模型表现最好，测试 RMSE 为 1.11。来自希顿等 (2019)，最先进的 RMSE 为 0.83，表明神经网络模型的 RMSE 高出 33%（见表 3）。如上所述，即使神经网络的 RMSE 高出 33%，R2 检验 = 0.858，而 Heaton 等的最佳表现模型。 (2019)hadR2 test = 0.894 表明神经网络模型的绝对性能很强。</p>
<p>更仔细地观察神经网络预测，图 5b 显示了跨位置的预测误差（预测 - 观察）。值得注意的是，神经网络模型的远程预测误差最高。这可能并不令人惊讶，因为长期预测等同于对已知神经网络难以实现的外推（Xu 等，2020 年）。长期预测误差也解释了为什么 CB 优于 MRB；也就是说，MRB 没有包含足够的局部信息，无法有效使用高分辨率碱基。因此，神经网络模型必须依赖更粗糙的特征来生成预测。</p>
<h3 id="4-4-例-4：150K-实际温度">4.4 例 4：150K 实际温度</h3>
<p>该数据集是 2016 年 8 月 4 日从 MODIS 卫星读取的遥感白天地表温度读数，也被列为 Heaton 等的比较数据集。 （2019）。除了前面的示例之外，该数据集的额外复杂性在于数据是真实的遥感温度，因此不符合任何标准的已知协方差结构。此外，与前面的例子一样，存在大面积的缺失数据，以评估神经网络在非标准数据结构下进行远程预测的能力。</p>
<p>表 2 中的结果再次表明，MRB 不是首选，而是更简单的基础扩展（在本例中为样本转换基础）在必须进行长期预测时是首选。如前所述，这可能是因为神经网络必须依赖较少的局部信息来执行预测。研究图 6a 和 6b 中最佳拟合神经网络模型的误差结构，神经网络模型似乎对于更长期的预测具有更大的误差。最好的神经网络模型实现了 1.92 的 RMSE（比 Heaton 等 2019 年最先进的方法提高了 20%），这相当于相对于最先进的 R2 的 R2 检验 = 0.76测试 = 0.85。</p>
<h3 id="4-5-例-5：100万二进制">4.5 例 5：100万二进制</h3>
<p>作为最后一个示例，我们考虑由桑迪亚国家实验室使用高斯随机场的阈值模拟的二元响应数据集（参见图 7a）。整个数据集的 80%–20% 训练-测试拆分用于评估神经网络模型的预测准确性。此外，随机使用 20% 的训练数据作为神经网络训练的验证集。该数据集代表了对神经网络的额外挑战；即，预测二元空间响应的能力。第 1 节中提到的绝大多数高斯过程衍生方法仅关注定量（连续）数据，因为它们不能很好地适应二进制或多项式数据。另一方面，神经网络可以通过简单地改变输出层激活函数来轻松适应二进制数据。</p>
<p>由于数据的密度，MRB 扩展（如示例 1 和 2 的情况）再次给出了最强的预测，总体测试准确率为 98.6%。神经网络预测的错误如图 7b 所示，它显示了在提供足够数据时神经网络能够重建具有挑战性的空间结构的能力。具体来说，在正负响应之间的过渡边界上只会出现较小的错误。</p>
<h2 id="5-结论与讨论">5 结论与讨论</h2>
<p>本研究旨在评估神经网络在给定大型空间数据的预测中的使用。在前面的示例中，神经网络被证明在 RMSE 方面与高斯过程的其他计算上可行的衍生产品具有竞争力，在二元响应、准确性或 F1 分数的情况下。虽然神经网络方法在绝对值上没有超过这些替代方法中的任何一种，但神经网络预测相对于数据规模而言相当准确。因此，从这项研究中得出的主要结论是，神经网络是一种可行的预测大型空间数据问题的方法</p>
<p>虽然我们得出结论，神经网络是一种可行的大规模预测方法，但我们讨论了与其使用相关的几个应考虑的要点：数据密度、计算时间、超参数调整、结构设计和不确定性量化。我们依次考虑每一点。</p>
<p>如示例 1、2 和 5 所示，神经网络方法在数据在空间域中均匀且密集的情况下表现出色。相反，如示例 3 和 4 所示，神经网络方法在数据不密集的情况下（即远程预测）表现不佳。因此，当需要对需要远程预测的情况执行大规模克里金法时，我们建议使用基于具有更稳定的远程预测属性的高斯过程的替代方法。然而，在不同的基函数扩展下，神经网络可能会提高远程预测的准确性。虽然我们在这里使用了径向基，但其他可能的基包括 Moran 基 (Hughes and Haran, 2013)、双方基 (Cressie and Johannesson, 2008b)、预测过程基 (Banerjee  等, 2008) 或 Wendlandbase (Nychka  等, 2015) ).当然，最佳的碱基选择应该是特定于应用程序和数据集的。</p>
<p>在计算时间方面直接比较神经网络与替代方法具有挑战性，因为计算时间是高度系统特定的。相对于 Heaton 等报告的计算时间。 (2019)，在用于该比赛的同一台机器上，在示例 3 和 4 上训练单个神经网络大约需要 0.17 分钟（中值）（因此，应该具有可比性）。除了训练神经网络所需的时间之外，从经过训练的神经网络模型生成预测的时间基本上是瞬时的，即使对于示例 1、2 和 5 中的大得多的数据也是如此。这对神经网络来说是一个强大的优势，因为许多来自高斯过程衍生产品的这些数据集的预测花费了大约 2500 秒，但可能长达 20,000 秒（如 Huang 等 2021a 所报告）。此外，神经网络随数据扩展的能力是其使用的优势。</p>
<p>当然，训练单个神经网络模型所需的时间并不是其实施所需的唯一时间。到目前为止，上述应用程序花费的最多时间是超参数调整。也就是说，训练单个神经网络的时间乘以搜索到的不同超参数设置的数量。这种计算要求在很大程度上可以并行化，因此高性能计算集群可以轻松处理这种要求。对于这项研究，我们在具有 64 个总内核容量和 512GB RAM 的服务器上使用了 16 个并行 2.6 GHz 内核。每个核心还进一步并行化矩阵计算以加速训练。示例 1 至示例 5 所需的总计算时间分别为 169.68、163.32、16.89、14.97 和 172.62。在更大的服务器上进一步并行化会加快计算速度，但这是我们为这项研究提供的。值得注意的是，如果只有单核处理器或低内存机器可用，则完全调整神经网络模型的时间可能会令人望而却步。</p>
<p>在本文中用于模型调整的两个网格搜索之间，我们的自定义网格搜索通常平均表现优于 Lee2018 网格搜索。 Lee2018 网格探索了与我们的自定义网格搜索不同的超参数，包括随机采样学习率、权重衰减、权重方差和隐藏层偏差项的方差。虽然此网格搜索可能考虑了更大的超参数空间，但它考虑的超参数调整似乎并没有给我们的自定义网格搜索优化在预测方面带来任何实际优势。但是，我们确实认识到用于超参数调整的贝叶斯方法越来越受欢迎，并且可能会改善本研究中的结果（参见 Victoria 和 Maragatham，2021）。</p>
<p>所需的大部分超参数调整都与模型结构有关（例如神经网络的宽度和深度）。理论上，根据 Lee 等的说法。 (2018) 只有当宽度和/或深度接近无穷大时，神经网络才接近高斯过程。然而，我们的结果表明最佳神经网络（深度、宽度）结构在数据集和输入类型之间有所不同。然而，在性能最佳的输入网格优化中，我们观察到，如果浅层神经网络足够宽，它们往往会表现得更好。图 8a、8b 和 8c 表示具有最佳性能验证 RMSE 的网格和输入类型的网格搜索结果。鉴于隐藏层至少有 64 个神经元宽，我们看到一个或两个隐藏层在预测新的数据观察时往往表现相似。</p>
<p>本文仅关注神经网络在克里金法/预测中的使用。由于这是神经网络的主要用途，这个范围本身就很有趣。然而，科学家也可能对预测的适当不确定性量化感兴趣。在这种情况下，上面讨论的高斯过程衍生产品可能比神经网络更受欢迎，因为它们自然会由于潜在的高斯假设而产生标准误差。而陈等 (2022) 描述了一种使用神经网络获得与预测相关的不确定性度量的方法，这种不确定性度量的属性在很大程度上仍未被探索，在这方面需要进一步研究</p>
<p>与许多其他方法相比，神经网络方法的一个警告是神经网络不是专门为任何一种数据问题设计的。也就是说，神经网络方法可以很容易地适用于对高斯和非高斯数据执行克里金法，包括二进制、多项式、有序多项式甚至混合类型的空间数据。由于其灵活性，这是神经网络方法相对于高斯过程衍生产品的强大潜在优势。</p>
<p>在本文中，我们只关注神经网络执行大规模空间预测的能力。虽然神经网络提供了如本文所示的强大预测能力，但神经网络不太适合解释性。虽然可变重要性等技术可用于神经网络，但基于高斯过程的方法通常具有易于解释的单一线性效应。因此，决定使用神经网络而不是基于高斯过程的方法来解决空间问题需要考虑解释协变量效应的可能需要。</p>
<p>在空间数据分析中使用神经网络还需要其他几种潜在的进一步研究途径。首先，需要考虑许多其他数据集、数据类型和数据大小的神经网络模型性能。迄今为止，神经网络在空间统计文献中的使用很少，需要更多的经验。其次，本文中所有研究的神经网络结构都限于隐藏层之间参数少于 800K 的结构。研究具有超过 800K 个观测值的数据集的过度参数化模型会很有趣。第三，需要更多的研究来确定对空间预测有效的基函数展开的类型。例如，此处使用的简单基函数扩展 (Trans) 可以扩展为计算经纬度元素的附加变换。此外，正如我们在上面看到的，如果数据包含大面积缺失值，则 MRB 方法无效。可能存在可以跨缺失值模式工作的基函数扩展类型。最后，我们使用上面提到的提前停止技术来加速网格搜索计算。然而，这可能会抑制我们的网格搜索在寻找最佳模型参数化方面的性能，或者没有给模型足够的时间来充分学习数据结构。增加提前停止的要求可能会显着提高神经网络模型的预测性能。</p>
<h2 id="参考文献">参考文献</h2>
<ul id="refplus"><li id="ref-Allaire2022" data-num="1">[1]  Allaire J, Chollet F (2022). keras: R Interface to ‘Keras’. R package version 2.9.0.</li><li id="ref-Banerjee2008" data-num="2">[2]  Banerjee S, Gelfand AE, Finley AO, Sang H (2008). Gaussian predictive process models for large spatial data sets. Journal of the Royal Statistical Society, Series B, Statistical Methodology, 70(4): 825–848.</li><li id="ref-Chen2022" data-num="3">[3]  Chen W, Li Y, Reich BJ, Sun Y (2022). Deepkriging: Spatially dependent deep neural networks for spatial prediction. Statistica Sinica. https://doi.org/10.5705/ss.202021.0277.</li><li id="ref-Cressie2008a" data-num="4">[4]  Cressie N, Johannesson G (2008a). Fixed rank Kriging for very large spatial data sets. Journal of the Royal Statistical Society, Series B, 70: 209–226.</li><li id="ref-Cressie2008b" data-num="5">[5]  Cressie N, Johannesson G (2008b). Fixed rank Kriging for very large spatial data sets. Journal of the Royal Statistical Society, Series B, Statistical Methodology, 70(1): 209–226.</li><li id="ref-Cressie2015" data-num="6">[6]  Cressie N, Wikle CK (2015). Statistics for Spatio-Temporal Data. John Wiley &amp; Sons.</li><li id="ref-Datta2016a" data-num="7">[7]  Datta A, Banerjee S, Finley AO, Gelfand AE (2016a). Hierarchical nearest-neighbor Gaussian process models for large geostatistical datasets. Journal of the American Statistical Association, 111(514): 800–812.</li><li id="ref-Datta2016b" data-num="8">[8]  Datta A, Banerjee S, Finley AO, Gelfand AE (2016b). On nearest-neighbor Gaussian process models for massive spatial data. Wiley Interdisciplinary Reviews: Computational Statistics, 8(5): 162–171.</li><li id="ref-Diggle2003" data-num="9">[9]  Diggle PJ, Ribeiro PJ, Christensen OF (2003). An introduction to model-based geostatistics. In: Spatial Statistics and Computational Methods, 43–86. Springer.</li><li id="ref-Diggle1998" data-num="10">[10]  Diggle PJ, Tawn JA, Moyeed RA (1998). Model-based geostatistics. Journal of the Royal Statistical Society. Series C. Applied Statistics, 47(3): 299–350.</li><li id="ref-El2021" data-num="11">[11]  El Bannany M, Khedr AM, Sreedharan M, Kanakkayil S (2021). Financial distress prediction based on multi-layer perceptron with parameter optimization. IAENG International Journal of Computer Science, 48: 3.</li><li id="ref-Furrer2006" data-num="12">[12]  Furrer R, Genton MG, Nychka D (2006). Covariance tapering for interpolation of large spatial datasets. Journal of Computational and Graphical Statistics, 15(3): 502–523.</li><li id="ref-Gelfand2016" data-num="13">[13]  Gelfand AE, Schliep EM (2016). Spatial statistics and Gaussian processes: A beautiful marriage. Spatial Statistics, 18: 86–104. Spatial Statistics Avignon: Emerging Patterns.</li><li id="ref-Genton2015" data-num="14">[14]  Genton MG, Kleiber W (2015). Cross-covariance functions for multivariate geostatistics. Statistical Science, 30(2): 147–163</li><li id="ref-Gerber2021" data-num="15">[15]  Gerber F, Nychka D (2021). Fast covariance parameter estimation of spatial Gaussian process models using neural networks. Stat, 10(1): e382.</li><li id="ref-Heaton2019" data-num="16">[16]  Heaton MJ, Datta A, Finley AO, Furrer R, Guinness J, Guhaniyogi R, et al. (2019). A case study competition among methods for analyzing large spatial data. Journal of Agricultural, Biological, and Environmental Statistics, 24(3): 398–425.</li><li id="ref-Higdon1998" data-num="17">[17]  Higdon D (1998). A process-convolution approach to modelling temperatures in the North Atlantic Ocean. Environmental and Ecological Statistics, 5(2): 173–190.</li><li id="ref-Huang2021a" data-num="18">[18]  Huang H, Abdulah S, Sun Y, Ltaief H, Keyes DE, Genton MG (2021a). Competition on spatial statistics for large datasets. Journal of Agricultural, Biological, and Environmental Statistics, 26(4): 580–595.</li><li id="ref-Huang2021b" data-num="19">[19]  Huang H, Blake LR, Katzfuss M, Hammerling DM (2021b). Nonstationary spatial modeling of massive global satellite data. arXiv preprint: https://arxiv.org/abs/2111.13428.</li><li id="ref-Hughes2013" data-num="20">[20]  Hughes J, Haran M (2013). Dimension reduction and alleviation of confounding for spatial generalized linear mixed models. Journal of the Royal Statistical Society, Series B, Statistical Methodology, 75(1): 139–159.</li><li id="ref-Jabbar2015" data-num="21">[21]  Jabbar H, Khan RZ (2015). Methods to avoid over-fitting and under-fitting in supervised machine learning (comparative study). Computer Science, Communication and Instrumentation Devices, 70: 163–172.</li><li id="ref-Katzfuss2017" data-num="22">[22]  Katzfuss M (2017). A multi-resolution approximation for massive spatial datasets. Journal of the American Statistical Association, 112(517): 201–214.</li><li id="ref-Katzfuss2021" data-num="23">[23]  Katzfuss M, Guinness J (2021). A general framework for Vecchia approximations of Gaussian processes. Statistical Science, 36(1): 124–141.</li><li id="ref-Kaufman2008" data-num="24">[24]  Kaufman CG, Schervish MJ, Nychka DW (2008). Covariance tapering for likelihood-based estimation in large spatial data sets. Journal of the American Statistical Association, 103(484): 1545–1555.</li><li id="ref-Lee2018" data-num="25">[25]  Lee J, Sohl-dickstein J, Pennington J, Novak R, Schoenholz S, Bahri Y (2018). Deep neural networks as Gaussian processes. In: International Conference on Learning Representations.</li><li id="ref-Lenzi2021" data-num="26">[26]  Lenzi A, Bessac J, Rudi J, Stein ML (2021). Neural networks for parameter estimation in intractable models. arXiv preprint: https://arxiv.org/abs/2107.14346.</li><li id="ref-Liu2020" data-num="27">[27]  Liu H, Ong YS, Shen X, Cai J (2020). When Gaussian process meets big data: A review of scalable gps. IEEE Transactions on Neural Networks and Learning Systems, 31(11): 4405–4423.</li><li id="ref-Matthews2018" data-num="28">[28]  Matthews A, Rowland M, Hron J, Turner RE, Ghahramani Z (2018). Gaussian process behaviour in wide deep neural networks. arXiv preprint: https://arxiv.org/abs/1804.11271.</li><li id="ref-Mesa2019" data-num="29">[29]  Mesa J, Vasquez DB, Aguirre JV, Valencia JSB (2019). Sensor fusion for distance estimation under disturbance with reflective optical sensors using multi layer perceptron (mlp). IEEE Latin America Transactions, 17(09): 1418–1423.</li><li id="ref-Molnar2021" data-num="30">[30]  Molnar C, Freiesleben T, König G, Casalicchio G, Wright MN, Bischl B (2021). Relating the partial dependence plot and permutation feature importance to the data generating process. arXiv preprint: https://arxiv.org/abs/2109.01433.</li><li id="ref-Neal1994" data-num="31">[31]  Neal RM (1994). Priors for infinite networks (tech. rep. no. crg-tr-94-1). University of Toronto.</li><li id="ref-Nuanmeesri2021" data-num="32">[32]  Nuanmeesri S, Sriurai W (2021). Multi-layer perceptron neural network model development for chili pepper disease diagnosis using filter and wrapper feature selection methods. Engineering, Technology &amp; Applied Science Research, 11(5): 7714–7719.</li><li id="ref-Nwankpa2018" data-num="33">[33]  Nwankpa C, Ijomah W, Gachagan A, Marshall S (2018). Activation functions: Comparison of trends in practice and research for deep learning. arXiv preprint: https://arxiv.org/abs/1811.03378</li><li id="ref-Nychka2015" data-num="34">[34]  Nychka D, Bandyopadhyay S, Hammerling D, Lindgren F, Sain S (2015). A multiresolution Gaussian process model for the analysis of large spatial datasets. Journal of Computational and Graphical Statistics, 24(2): 579–599.</li><li id="ref-RCoreTeam2021" data-num="35">[35]  R Core Team (2021). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria.</li><li id="ref-Ramachandran2017" data-num="36">[36]  Ramachandran P, Zoph B, Le QV (2017). Searching for activation functions. arXiv preprint: https://arxiv.org/abs/1710.05941.</li><li id="ref-Sang2012" data-num="37">[37]  Sang H, Huang JZ (2012). A full scale approximation of covariance functions for large spatial data sets. Journal of the Royal Statistical Society, Series B, Statistical Methodology, 74(1): 111–132.</li><li id="ref-Sauer2022a" data-num="38">[38]  Sauer A, Cooper A, Gramacy RB (2022). Vecchia-approximated deep Gaussian processes for computer experiments. arXiv preprint: https://arxiv.org/abs/2204.02904.</li><li id="ref-Sauer2022b" data-num="39">[39]  Sauer A, Gramacy RB, Higdon D (2022). Active learning for deep Gaussian process surrogates. Technometrics. https://doi.org/10.1080/00401706.2021.2008505.</li><li id="ref-Victoria2021" data-num="40">[40]  Victoria AH, Maragatham G (2021). Automatic tuning of hyperparameters using Bayesian optimization. Evolving Systems, 12(1): 217–223.</li><li id="ref-Wikle2022" data-num="41">[41]  Wikle CK, Zammit-Mangion A (2022). Statistical deep learning for spatial and spatio-temporal data. arXiv preprint: https://arxiv.org/abs/2206.02218.</li><li id="ref-Xu2020" data-num="42">[42]  Xu K, Zhang M, Li J, SS Kawarabayashi Ki D, Jegelka S (2020). How neural networks extrapolate: From feedforward to graph neural networks. arXiv preprint: https://arxiv.org/abs/2009. 11848.</li><li id="ref-Yarotsky2018" data-num="43">[43]  Yarotsky D (2018). Optimal approximation of continuous functions by very deep relu networks. In: Conference on Learning Theory (S Bubeck, V Perchet, P Rigollet, eds.), 639–649. PMLR.</li><li id="ref-Zammit-Mangion2021" data-num="44">[44]  Zammit-Mangion A, Ng TLJ, Vu Q, Filippone M (2021). Deep compositional spatial models. Journal of the American Statistical Association. https://doi.org/10.1080/01621459.2021. 1887741.</li><li id="ref-Zammit-Mangion2020" data-num="45">[45]  Zammit-Mangion A, Wikle CK (2020). Deep integro-difference equation models for spatiotemporal forecasting. Spatial Statistics, 37: 100408.</li><li id="ref-Zhang2018" data-num="46">[46]  Zhang P, Jia Y, Gao J, Song W, Leung H (2018). Short-term rainfall forecasting using multi-layer perceptron. IEEE Transactions on Big Data, 6(1): 93–106.</li></ul>

    <style>
    #refplus, #refplus li{ 
        padding:0;
        margin:0;
        list-style:none;
    }；
    </style>
    <script src="https://unpkg.com/@popperjs/core@2"></script>
    <script src="https://unpkg.com/tippy.js@6"></script>
    <script>
    document.querySelectorAll(".refplus-num").forEach((ref) => {
        let refid = ref.firstChild.href.replace(location.origin+location.pathname,'');
        let refel = document.querySelector(refid);
        let refnum = refel.dataset.num;
        let ref_content = refel.innerText.replace(`[${refnum}]`,'');
        tippy(ref, {
            content: ref_content,
        });
    });
    </script>
    </article><div class="post-copyright"><div class="post-copyright__author"><span class="post-copyright-meta">文章作者: </span><span class="post-copyright-info"><a href="http://xishansnow.github.io">西山晴雪</a></span></div><div class="post-copyright__type"><span class="post-copyright-meta">文章链接: </span><span class="post-copyright-info"><a href="http://xishansnow.github.io/posts/4a5216eb.html">http://xishansnow.github.io/posts/4a5216eb.html</a></span></div><div class="post-copyright__notice"><span class="post-copyright-meta">版权声明: </span><span class="post-copyright-info">本博客所有文章除特别声明外，均采用 <a href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> 许可协议。转载请注明来自 <a href="http://xishansnow.github.io" target="_blank">西山晴雪的知识笔记</a>！</span></div></div><div class="tag_share"><div class="post-meta__tag-list"><a class="post-meta__tags" href="/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/">深度学习</a><a class="post-meta__tags" href="/tags/%E7%A9%BA%E9%97%B4%E7%BB%9F%E8%AE%A1/">空间统计</a></div><div class="post_share"><div class="social-share" data-image="/img/coffe_07.png" data-sites="facebook,twitter,wechat,weibo,qq"></div><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/butterfly-extsrc/sharejs/dist/css/share.min.css" media="print" onload="this.media='all'"><script src="https://cdn.jsdelivr.net/npm/butterfly-extsrc/sharejs/dist/js/social-share.min.js" defer></script></div></div><nav class="pagination-post" id="pagination"><div class="prev-post pull-left"><a href="/posts/2c19b889.html"><img class="prev-cover" src="/img/book_05.png" onerror="onerror=null;src='/img/404.jpg'" alt="cover of previous post"><div class="pagination-info"><div class="label">上一篇</div><div class="prev_info">最大似然法与受限最大似然法的比较</div></div></a></div><div class="next-post pull-right"><a href="/posts/a944ff60.html"><img class="next-cover" src="/img/book_05.png" onerror="onerror=null;src='/img/404.jpg'" alt="cover of next post"><div class="pagination-info"><div class="label">下一篇</div><div class="next_info">🔥  大规模点参考数据统计分析方法索引帖</div></div></a></div></nav><div class="relatedPosts"><div class="headline"><i class="fas fa-thumbs-up fa-fw"></i><span>相关推荐</span></div><div class="relatedPosts-list"><div><a href="/posts/74d0eccf.html" title="🔥  空间统计深度学习索引帖"><img class="cover" src="/img/coffe_07.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2023-02-09</div><div class="title">🔥  空间统计深度学习索引帖</div></div></a></div><div><a href="/posts/4c2ac315.html" title="深度神经网络和时空数据深度分层模型比较"><img class="cover" src="/img/coffe_03.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2022-12-06</div><div class="title">深度神经网络和时空数据深度分层模型比较</div></div></a></div><div><a href="/posts/c93c5021.html" title="空间数据和时空数据的统计深度学习"><img class="cover" src="/img/coffe_01.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2022-12-04</div><div class="title">空间数据和时空数据的统计深度学习</div></div></a></div><div><a href="/posts/3a9f5e9d.html" title="深度克里金法（DeepKriging）"><img class="cover" src="/img/book_06.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2023-01-11</div><div class="title">深度克里金法（DeepKriging）</div></div></a></div><div><a href="/posts/70cfc1f6.html" title="地统计学中的贝叶斯深度学习"><img class="cover" src="/img/book_08.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2023-01-11</div><div class="title">地统计学中的贝叶斯深度学习</div></div></a></div><div><a href="/posts/67c3f1d6.html" title="贝叶斯神经网络快速上手教程"><img class="cover" src="/img/005.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2021-03-14</div><div class="title">贝叶斯神经网络快速上手教程</div></div></a></div></div></div></div><div class="aside-content" id="aside-content"><div class="sticky_layout"><div class="card-widget" id="card-toc"><div class="item-headline"><i class="fas fa-stream"></i><span>目录</span><span class="toc-percentage"></span></div><div class="toc-content"><ol class="toc"><li class="toc-item toc-level-2"><a class="toc-link" href="#1-%E7%AE%80%E4%BB%8B"><span class="toc-text">1 简介</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#2-%E6%96%B9%E6%B3%95"><span class="toc-text">2 方法</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#2-1-%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B"><span class="toc-text">2.1 高斯过程</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#2-2-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%EF%BC%88%E5%A4%9A%E5%B1%82%E6%84%9F%E7%9F%A5%E5%99%A8%EF%BC%89"><span class="toc-text">2.2 神经网络（多层感知器）</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#2-3-%E4%BD%BF%E7%94%A8%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%BD%9C%E4%B8%BA%E9%AB%98%E6%96%AF%E8%BF%87%E7%A8%8B%E7%9A%84%E8%BF%91%E4%BC%BC"><span class="toc-text">2.3 使用神经网络作为高斯过程的近似</span></a></li></ol></li><li class="toc-item toc-level-2"><a class="toc-link" href="#3%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E6%8B%9F%E5%90%88%E6%96%B9%E6%B3%95"><span class="toc-text">3神经网络拟合方法</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#3-1-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%BE%93%E5%85%A5"><span class="toc-text">3.1 神经网络输入</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#3-2-%E7%BD%91%E6%A0%BC%E6%90%9C%E7%B4%A2"><span class="toc-text">3.2 网格搜索</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#3-3%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%B8%B8%E6%95%B0%E3%80%81%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0%E5%92%8C%E5%81%9C%E6%AD%A2%E5%87%86%E5%88%99"><span class="toc-text">3.3神经网络常数、损失函数和停止准则</span></a></li></ol></li><li class="toc-item toc-level-2"><a class="toc-link" href="#4-%E5%BA%94%E7%94%A8"><span class="toc-text">4 应用</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#4-1-%E4%BE%8B-1%EF%BC%9A100%E4%B8%87%E9%AB%98%E6%96%AF%E9%87%8F%E5%8C%96"><span class="toc-text">4.1 例 1：100万高斯量化</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#4-2-%E4%BE%8B-2%EF%BC%9A100%E4%B8%87%E9%9D%9E%E9%AB%98%E6%96%AF%E5%AE%9A%E9%87%8F"><span class="toc-text">4.2 例 2：100万非高斯定量</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#4-3-%E4%BE%8B-3%EF%BC%9A150K-%E6%A8%A1%E6%8B%9F%E6%B8%A9%E5%BA%A6"><span class="toc-text">4.3 例 3：150K 模拟温度</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#4-4-%E4%BE%8B-4%EF%BC%9A150K-%E5%AE%9E%E9%99%85%E6%B8%A9%E5%BA%A6"><span class="toc-text">4.4 例 4：150K 实际温度</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#4-5-%E4%BE%8B-5%EF%BC%9A100%E4%B8%87%E4%BA%8C%E8%BF%9B%E5%88%B6"><span class="toc-text">4.5 例 5：100万二进制</span></a></li></ol></li><li class="toc-item toc-level-2"><a class="toc-link" href="#5-%E7%BB%93%E8%AE%BA%E4%B8%8E%E8%AE%A8%E8%AE%BA"><span class="toc-text">5 结论与讨论</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE"><span class="toc-text">参考文献</span></a></li></ol></div></div></div></div></main><footer id="footer"><div id="footer-wrap"><div class="copyright">&copy;2020 - 2023 By 西山晴雪</div><div class="framework-info"><span>框架 </span><a target="_blank" rel="noopener" href="https://hexo.io">Hexo</a><span class="footer-separator">|</span><span>主题 </span><a target="_blank" rel="noopener" href="https://github.com/jerryc127/hexo-theme-butterfly">Butterfly</a></div></div></footer></div><div id="rightside"><div id="rightside-config-hide"><button id="readmode" type="button" title="阅读模式"><i class="fas fa-book-open"></i></button><button id="translateLink" type="button" title="简繁转换">繁</button><button id="darkmode" type="button" title="浅色和深色模式转换"><i class="fas fa-adjust"></i></button><button id="hide-aside-btn" type="button" title="单栏和双栏切换"><i class="fas fa-arrows-alt-h"></i></button></div><div id="rightside-config-show"><button id="rightside_config" type="button" title="设置"><i class="fas fa-cog fa-spin"></i></button><button class="close" id="mobile-toc-button" type="button" title="目录"><i class="fas fa-list-ul"></i></button><button id="go-up" type="button" title="回到顶部"><i class="fas fa-arrow-up"></i></button></div></div><div id="algolia-search"><div class="search-dialog"><nav class="search-nav"><span class="search-dialog-title">搜索</span><button class="search-close-button"><i class="fas fa-times"></i></button></nav><div class="search-wrap"><div id="algolia-search-input"></div><hr/><div id="algolia-search-results"><div id="algolia-hits"></div><div id="algolia-pagination"></div><div id="algolia-info"><div class="algolia-stats"></div><div class="algolia-poweredBy"></div></div></div></div></div><div id="search-mask"></div></div><div><script src="/js/utils.js"></script><script src="/js/main.js"></script><script src="/js/tw_cn.js"></script><script src="https://cdn.jsdelivr.net/npm/@fancyapps/ui/dist/fancybox.umd.min.js"></script><script>function panguFn () {
  if (typeof pangu === 'object') pangu.autoSpacingPage()
  else {
    getScript('https://cdn.jsdelivr.net/npm/pangu/dist/browser/pangu.min.js')
      .then(() => {
        pangu.autoSpacingPage()
      })
  }
}

function panguInit () {
  if (true){
    GLOBAL_CONFIG_SITE.isPost && panguFn()
  } else {
    panguFn()
  }
}

document.addEventListener('DOMContentLoaded', panguInit)</script><script src="https://cdn.jsdelivr.net/npm/algoliasearch/dist/algoliasearch-lite.umd.min.js"></script><script src="https://cdn.jsdelivr.net/npm/instantsearch.js/dist/instantsearch.production.min.js"></script><script src="/js/search/algolia.js"></script><script>var preloader = {
  endLoading: () => {
    document.body.style.overflow = 'auto';
    document.getElementById('loading-box').classList.add("loaded")
  },
  initLoading: () => {
    document.body.style.overflow = '';
    document.getElementById('loading-box').classList.remove("loaded")

  }
}
window.addEventListener('load',preloader.endLoading())</script><div class="js-pjax"><link rel="stylesheet" type="text/css" href="https://cdn.jsdelivr.net/npm/katex/dist/katex.min.css"><script src="https://cdn.jsdelivr.net/npm/katex/dist/contrib/copy-tex.min.js"></script><script>(() => {
  document.querySelectorAll('#article-container span.katex-display').forEach(item => {
    btf.wrap(item, 'div', { class: 'katex-wrap'})
  })
})()</script><script>(() => {
  const $mermaidWrap = document.querySelectorAll('#article-container .mermaid-wrap')
  if ($mermaidWrap.length) {
    window.runMermaid = () => {
      window.loadMermaid = true
      const theme = document.documentElement.getAttribute('data-theme') === 'dark' ? '' : ''

      Array.from($mermaidWrap).forEach((item, index) => {
        const mermaidSrc = item.firstElementChild
        const mermaidThemeConfig = '%%{init:{ \'theme\':\'' + theme + '\'}}%%\n'
        const mermaidID = 'mermaid-' + index
        const mermaidDefinition = mermaidThemeConfig + mermaidSrc.textContent
        mermaid.mermaidAPI.render(mermaidID, mermaidDefinition, (svgCode) => {
          mermaidSrc.insertAdjacentHTML('afterend', svgCode)
        })
      })
    }

    const loadMermaid = () => {
      window.loadMermaid ? runMermaid() : getScript('https://cdn.jsdelivr.net/npm/mermaid/dist/mermaid.min.js').then(runMermaid)
    }

    window.pjax ? loadMermaid() : document.addEventListener('DOMContentLoaded', loadMermaid)
  }
})()</script></div><script id="canvas_nest" defer="defer" color="0,0,255" opacity="0.7" zIndex="-1" count="99" mobile="false" src="https://cdn.jsdelivr.net/npm/butterfly-extsrc/dist/canvas-nest.min.js"></script><script src="https://cdn.jsdelivr.net/npm/butterfly-extsrc/dist/activate-power-mode.min.js"></script><script>POWERMODE.colorful = true;
POWERMODE.shake = true;
POWERMODE.mobile = false;
document.body.addEventListener('input', POWERMODE);
</script><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/aplayer/dist/APlayer.min.css" media="print" onload="this.media='all'"><script src="https://cdn.jsdelivr.net/npm/aplayer/dist/APlayer.min.js"></script><script src="https://cdn.jsdelivr.net/npm/butterfly-extsrc/metingjs/dist/Meting.min.js"></script></div></body></html>